Pada tahun 1845 kerajaan British bersetuju bahawa Rumah Kerajaan baru di Sydney telah menjadi satu keperluan, dan arkitek diraja, Edward Blore, telah diarahkan untuk merangka pelan. Pembinaan bermula pada 1837 dan diselia oleh arkitek jajahan Mortimer Lewis dan Kolonel Barney daripada Jurutera Diraja.[4] Batu, kayu sedar, dan marmar untuk pembinaan diperoleh daripada pelbagai kawasan New South Wales. Majlis tari sempena hari lahir Ratu Victoria telah diadakan di bangunan baru pada tahun 1843, walaupun pembinaan tidak lengkap. Pemastautin pertama, Gabenor George Gipps, tidak pindah masuk sehingga 1845.[4]

Rumah Kerajaan, dengan tetapan pada Pelabuhan Sydney, mempunyai kawasan taman 5 hektar dan terletak di selatan Sydney Opera House, menghadap Farm Cove. Ia telah direka dalam gaya kebangkitan gothik romantis—berbentuk istana, berbaluarti, mempunyai menara dan dihiasi dengan potret minyak dan jata penghuninya. Tambahan telah memasukkan serambi hadapan pada tahun 1873, beranda sebelah timur pada tahun 1879 dan sambungan kepada bilik tarian dan bilik belajar gabenor pada 1900–01.

Dari 1845 sehingga 1901, bangunan ini berfungsi sebagai kediaman, pejabat dan ruang penyambut tetamu rasmi Gabenor.